Публикация:
	644. Орлов А.И. Бинарные рейтинги и их сравнение. – В сб.: Теория активных систем / Труды международной научно-практической конференции (14-15 ноября 2007 г., Москва, Россия). Общая редакция – В.Н. Бурков, Д.А. Новиков. – М.: ИПУ РАН, 2007. – С.186-190.

Бинарные рейтинги и их сравнение
Орлов А.И.
(МГТУ им. Н.Э. Баумана, Москва)
orlov@ibm.bmstu.ru 

Ключевые слова: рейтинг, дискриминантный анализ, непараметрические оценки плотности, прогностическая сила.

Введение
Обсудим наиболее простой случай, когда рейтинговая оценка принимает два значения, для простоты изложения, 0 и 1. Такие рейтинги называем бинарными. Иногда строят рейтинг в виде функции f(x1, x2, …, xm) от единичных показателей (факторов) x1, x2, …, xm. , а для принятия решения используют некоторый порог K. Принимают одно решение, если f(x1, x2, …, xm) < K, и альтернативное, если f(x1, x2, …, xm) > K. В этом случае для принятия решения используется бинарный рейтинг вида g(f(x1, x2, …, xm)), где функция g принимает два значения, а именно, g(z) = 0 при z < K и g(z) = 1 при z > K. 
На основе бинарных рейтингов можно сконструировать рейтинг с большим числом градаций. Пусть рейтинговая оценка h принимает одно из трех значений A < B < C. С ней можно связать два бинарных рейтинга p и q, таких, что для первого из них p = 0 при h < C и p =1 при h = C, для второго q = 0 при h < B и q =1 при h > B. Ясно, что h = A тогда и только тогда, когда p = q =0, и h = C тогда и только тогда, когда p =q =1, в то время как h = B тогда и только тогда, когда p =0, q = 1. Таким образом, использование рейтинга h с тремя возможными значениями эквивалентно использованию двух бинарных рейтингов p и q. 
1. Бинарные рейтинги и дискриминантный анализ
Объект оценки с помощью бинарного рейтинга относится к одному из двух классов. Следовательно, теория бинарных рейтингов – часть дискриминантного анализа, имеющего целью отнесение объекта к одному из двух классов [1]. Классы предполагаются заданными - плотностями вероятностей или обучающими выборками. 
Математические методы диагностики, как и статистические методы в целом, делятся на параметрические и непараметрические. Первые основаны на предположении, что классы описываются распределениями из некоторых параметрических семейств. Обычно рассматривают многомерные нормальные распределения, при этом зачастую без обоснования принимают гипотезу о том, что ковариационные матрицы для различных классов совпадают. Именно в таких предположениях сформулирован классический дискриминантный анализ Фишера. Как известно, обычно не только нет теоретических оснований считать, что наблюдения извлечены из нормального распределения, но и проверка статистических гипотез согласия с нормальным законом дает отрицательный результат. Известно также, что по выборкам, объем которых не превосходит 50, нельзя сделать обоснованный вывод о принадлежности к нормальному закону.
Поэтому более корректными, чем параметрические, являются непараметрические методы диагностики. Исходная идея таких методов основана на лемме Неймана-Пирсона, входящей в стандартный курс математической статистики. Согласно этой лемме решение об отнесении вновь поступающего объекта к одному из двух классов принимается на основе отношения плотностей f(x)/g(x), где f(x) - плотность распределения, соответствующая первому классу, а g(x) - плотность распределения, соответствующая второму классу. 
Если плотности распределения неизвестны, то применяют их непараметрические оценки, построенные по обучающим выборкам. Пусть обучающая выборка объектов из первого класса состоит из n элементов, а обучающая выборка для второго класса - из m объектов. Тогда рассчитывают значения непараметрических оценок плотностей fn(x) и gm(x) для первого и второго классов соответственно, а диагностическое решение принимают по их отношению [2]. Достоинством таких рейтингов является их универсальность, возможность применения без необходимости обоснования трудно проверяемых условий (например, нормальности распределения характеристик объектов оценки). Недостатком является отсутствие явных формул, задающих рейтинг в виде конкретной функции f(x1, x2, …, xm) от единичных показателей (факторов) x1, x2, …, xm, описывающих объект оценки. 
Есть и иные методы, в частности, основанные на использовании нейросетей для диагностики и рейтингования.
2. Проблема сравнения рейтингов
Популярны линейные рейтинги f(x1, x2, …, xm) = a1x1 + a2x2 + … + amxm в виде линейной функции от единичных показателей (факторов) x1, x2, …, xm. Коэффициенты a1, a2, …, am называют коэффициентами важности (весомости, значимости). Их определяют либо экспертным путем, либо по статистическим данным, используя обучающие выборки.
По одним и тем же данным могут быть построены различные рейтинги. Например, с помощью обучающих выборок можно построить непараметрический бинарный рейтинг (заданный алгоритмически) и линейный рейтинг (по Фишеру). В той же прикладной задаче может оказаться полезным также и линейный рейтинг на основе экспертных оценок коэффициентов.
Результаты обработки реальных данных с помощью некоторого алгоритма диагностики в случае двух классов описываются долями: правильной диагностики в первом классе ; правильной диагностики во втором классе ; долями классов в объединенной совокупности .
Нередко как показатель качества алгоритма диагностики (прогностической «силы») используют долю правильной диагностики . Однако показатель  определяется, в частности, через характеристики  и , частично заданные исследователем (например, на них влияет тактика отбора образцов для изучения). При диагностике тяжести заболевания алгоритм группы под руководством И.М. Гельфанда оказался хуже тривиального - объявить всех больных легкими, не требующими специального наблюдения. Причина появления нелепости понятна. Хотя доля тяжелых больных невелика, но смертельные исходы сосредоточены именно в этой группе больных. Поэтому целесообразна гипердиагностика - рациональнее часть легких больных объявить тяжелыми, чем наоборот.
Итак, долю правильной диагностики  нецелесообразно использовать как показатель качества алгоритма диагностики. 
3. Прогностическая сила
Для сравнения рейтингов (алгоритмов диагностики) предлагаем использовать (эмпирическую) прогностическую силу , где . Здесь - функция стандартного нормального распределения вероятностей с математическим ожиданием 0 и дисперсией 1, а  - обратная ей функция. При росте объемов выборок распределение является асимптотически нормальным [3]. 
Как проверить обоснованность использования прогностической силы? Возьмем два значения порога K1 и K2. Тогда теоретические прогностические силы должны совпадать: . Выполнение этого равенства можно проверить как статистическую гипотезу по алгоритмам [3]. 
Литература
1.	ОРЛОВ А.И. Заметки по теории классификации // Социология: методология, методы, математические модели. 1991. No.2. С.28-50.
2.	ОРЛОВ А.И. Математические методы исследования и диагностика материалов // Заводская лаборатория. 2003. Т.69. No.3. С.53-64.
3.	ОРЛОВ А.И. Прикладная статистика. М.: Экзамен, 2006. – 671 с.